Distilling Long-CoT Reasoning through Collaborative Step-wise Multi-Teacher Decoding
通过协作逐步多教师解码蒸馏长链推理
🧭 长链推理蒸馏 · 多教师协作解码 ★ 深度解读
KAIST · UNIST
提出CoRD框架，通过逐步多教师协作解码和预测困惑度指导，高效生成高质量长链推理数据，显著提升学生模型性能。
📌 工作参考价值（4 点）
- 逐步多教师协作生成数据：让多个异构模型按步骤共同构建推理链，用预测性指标动态选择最优步骤，避免后验选择完整响应的浪费，可用于生成高质量的训练数据，如商品推荐解释或Agent决策推理。
- 预测困惑度作为步骤质量信号：利用元模型计算当前前缀下正确答案的概率来评估中间步骤，无需额外训练奖励模型，轻量且有效，适用于长序列生成中的中间步骤评估。
- 束搜索保持多样性：用多个并行轨迹保留有潜力的推理分支，防止过早贪婪选择，允许自我纠正和策略转换，在多智体交互中可保留多个方案，提升最终结果质量。
- 步骤分割一致性：通过提示工程（如“### Step”）强制不同模型输出结构统一的步骤，便于跨模型比较和组合，可迁移到生成式推荐中需要多模型协作生成推荐理由的场景。